70倍极致压缩!大模型的检查点再多也不怕
70倍极致压缩!大模型的检查点再多也不怕大模型作为当下 AI 工业界和学术界当之无愧的「流量之王」,吸引了大批学者和企业投入资源去研究与训练。随着规模越做越大,系统和工程问题已经成了大模型训练中绕不开的难题。例如在 Llama3.1 54 天的训练里,系统会崩溃 466 次,平均 2.78 小时一次!
搜索
大模型作为当下 AI 工业界和学术界当之无愧的「流量之王」,吸引了大批学者和企业投入资源去研究与训练。随着规模越做越大,系统和工程问题已经成了大模型训练中绕不开的难题。例如在 Llama3.1 54 天的训练里,系统会崩溃 466 次,平均 2.78 小时一次!
注意!AI 角色所说的一切都是虚构的
靴子终于落地,OpenAI的AI搜索还是来了。7月26日,就在推出小模型GPT-4o mini的一周后,OpenAI方面公布了备受外界关注的搜索产品SearchGPT。尽管目前SearchGPT仅向10000名测试用户开放,但OpenAI CTO Mira Murati在社交平台已经透露,最终目标是将搜索功能直接整合到ChatGPT中。
英伟达摊上大事儿了。 据《The Information》报道,英伟达的最新杀手锏——采用Blackwell架构的AI GPU从原定的今年Q3推迟到2025年Q1推出。据称,这款 GPU 存在设计缺陷,因此需要推迟发布产品以解决问题。
在当前 AI 领域,大语言模型采用的主流架构是 Transformer。不过,随着 RWKV、Mamba 等架构的陆续问世,出现了一个很明显的趋势:在语言建模困惑度方面与 Transformer 较量的循环大语言模型正在快速进入人们的视线。
即使年轻的学术天才已成为当下AGI公司创始人的主流背景之一,2000年出生的杨丰瑜,还是年轻得让人意外。
在过去的六个月,LinkedIn 开发了基于自身业务的生成式AI应用。领英团队希望能重新设计求职流程,改变专业内容的浏览方式。
人工智能赛道最受关注的独角兽之一,Character.AI迎来了新命运。尽管近期媒体报道,伊隆·马斯克的 xAI 正在考虑收购Character.AI,但最终摘到果实的是谷歌。
又一位AI明星初创的CEO,跑!路!了! 就在刚刚,AI圈被这个消息震惊了—— 出走谷歌、自立门户的Character.AI CEO Naom Shazeer,携总裁Daniel De Freitas以及研究团队的大波成员离开公司,重返老东家谷歌!
GitHub 推出的全新功能「GitHub Models」将有望加快 AI 工程师时代的到来。